Tư Mã Luân là con trai thứ 9 của Tư Mã Ý (179-251) quyền thần nhà Ngụy. Mẹ ông là Bách phu nhân, vợ thứ của Tấn Tuyên đế. Thời nhà Ngụy, Tư Mã Luân được phong làm An Nhạc Đình hầu.

Họ Tư Mã từ năm 251 đã nắm được quyền chính của nhà Ngụy, trải qua ba đời là Tuyên đế Tư Mã Ý (cha Tư Mã Luân), Cảnh đế Tư Mã Sư và Văn đế Tư Mã Chiêu (hai người anh của ông). Đến năm 265, con Tư Mã Chiêu là Tư Mã Viêm cướp ngôi nhà Ngụy, lập ra nhà Tấn, tự xưng là Tấn Vũ đế. Vũ đế phong cho Tư Mã Luân làm Lang Tà quận vương.